Ban đầu, Trương Tuấn cất nhắc Khúc Đoan làm Tuyên phủ xứ trí sứ tư Đô thống chế, Tri Vị Châu. Trước trận Phú Bình, Khúc Đoan bất đồng quan điểm, bị Trương Tuấn biếm làm Đoàn luyện phó sứ. Còn Ngô Giới thua trận Bành Nguyên Điếm, tố cáo Khúc Đoan không tiếp ứng. Sau khi quân Tống đại bại, tâm phúc Trương Trung Ngạn của Khúc Đoan đầu hàng người Kim, Trương Tuấn nghe theo mật mưu của Ngô Giới, kết tội Khúc Đoạn cấu kết mưu phản mà hạ ngục, dùng cực hình tra khảo, khiến ông ta phải chết trong ngục. Có người đàn hặc Trương Tuấn giết Triệu Triết, Khúc Đoan là vô cớ; cất nhắc bọn Lưu Tử Vũ là không hợp lẽ; triều đình bắt đầu nghi ngờ ông.

Năm Thiệu Hưng thứ 3 (1133), triều đình sai Vương Tự làm phó cho Trương Tuấn. Gặp lúc tướng Kim là Tát Li Hạt cùng quân ngụy Tề của Lưu Dự vào phá Kim Châu, Lưu Tử Vũ làm Hưng Nguyên soái, ước với Ngô Giới cùng giữ Tam Tuyền. Người Kim đến Kim Ngưu, quân Tống bất ngờ tấn công, giết đến mấy ngàn kẻ địch. Ông nghe Vương Tự đến, bất mãn, xin giải binh quyền của ông ta, lại tâu rằng Vương Tự không thể đảm đương nhiệm vụ. Tể tướng Lữ Di Hạo không hài lòng, lại thêm Chu Thắng Phi nói gièm, nên có chiếu gọi Trương Tuấn về triều kiến.

Đầu năm Kiến Viên thứ 4 (1130), Tân Bỉnh làm Tri Đàm Châu, Trương Tuấn ở Thiểm, dùng hịch gọi ông ta phát binh, Bỉnh không nghe, ông tâu lên đàn hặc ông ta. Đến nay, Tân Bỉnh làm Ngự sử trung thừa, dẫn đầu một đám người đàn hặc Trương Tuấn. Tháng 3 năm Thiệu Hưng thứ 4 (1134), ông bị bãi hàm Tri Xu mật viện sự, được nhận hàm Động Tiêu cung [9], cho ở Phúc Châu. Trương Tuấn đến nơi, dâng sớ bày tỏ nỗi lo người Kim dòm ngó đông nam. Tháng 9, con Lưu Dự là Lưu Lân quả nhiên đưa người Kim vào đánh, Cao Tông nhớ lời ông, bèn miễn chức Chu Thắng Phi, vào tháng 11 cùng năm, triệu Trương Tuấn làm Tư Chánh điện học sĩ đề cử Vạn Thọ quan kiêm Thị độc. Ông vào triều, Cao Tông tự tay viết chiếu biện giải rằng mình bị lừa dối, ban cho ông hàm Tri Xu mật viện sự.